#looped transformers

3 篇

How Depth Growth and Looping Shape In-Context Learning in Language Models

深度增长与循环如何塑造语言模型中的上下文学习

🧭 深度增长/循环模型的 ICL 偏置

Technical University of Munich · Helmholtz AI, Munich · Munich Center for Machine Learning (MCML) · Google, Paradigms of Intelligence Team

证明深度增长与循环模型共享更强的上下文学习归纳偏置，并揭示归纳头传播机制

📌 工作参考价值（4 点）

若用 LLM 做 few-shot 推荐/排序（例如通过示例商品-用户偏好映射），可优先评估 depth-grown 或 looped 基座：它们更依赖上下文信息，可能比 dense 模型更少靠权重记忆固定关联，适合动态偏好学习。
预训练推荐/Agent 模型时可借鉴渐进深度增长：先训浅层再复制层继续训练，可能在更少步数内获得 ICL 能力并降低训练成本；同时可用“早期 induction heads 传播”作为训练监控信号。
用 induction head 排名做模型诊断与剪枝：识别对 few-shot 关键的头，保留或蒸馏到轻量模型，或用于验证提示工程中的示例格式是否有效。
资源受限的多轮 Agent 场景可考虑 looped/共享层结构，减少参数与 KV cache 压力，同时强化对上下文规则的依赖，适合反复调用工具/策略的推理。

LLM | 2026-10-22 | cs.CL | score 7/10

循环混合专家模型的联合缩放定律

🧭 循环 MoE 联合缩放定律 ★ 深度解读

Meta AI

提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计

📌 工作参考价值（4 点）

在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。

Training | 2026-09-29 | HF Daily | score 8/10

用循环Transformer弥合隐式与显式推理差距

🧭 隐式CoT推理加速 · 循环Transformer

UW-Madison · Microsoft Research · ETH Zürich · KRAFTON · Ludo Robotics

首次在3B规模用循环Transformer+并行监督弥合隐式与显式思维链性能差距，并降低推理延迟2.5-6.9倍

📌 工作参考价值（4 点）

在电商搜索推荐Agent中，可用隐式循环推理替代显式CoT，将多步决策压缩为并行隐状态迭代，显著降低线上延迟；需为每个推理步设计中间监督信号（如意图、子查询），可用已有行为数据或蒸馏构造。
循环权重共享在不增加参数的前提下加深推理深度，适合线上部署的资源受限环境，可直接应用于Agent的轻量级推理模块。
可解释性验证技巧（将隐状态投影至词表）可用于监控Agent推理过程，确保推荐/搜索决策的合理性与可解释性。
若业务存在用户决策路径数据（如浏览-加购-购买），可仿照中间步骤监督，训练隐式推理模型以加速商品推荐理由生成或解释生成。

Reasoning | 2026-06-30 | cs.LG | score 7/10